我想阻止抓取工具将我网站上的特定图像编入索引，但前提是这些图像早于特定日期。但是，爬虫不会停止索引当前链接图像的页面。我最初的方法是编写一个脚本，将图像的URL添加到“robots.txt”，但我认为该文件会变得很大，因为我们谈论的潜在图像数量非常庞大。我的下一个想法是使用标签，但我认为这种方法容易出错，因为我可能会忘记将此标签添加到模板中，我可能希望阻止爬虫程序对图像进行索引。这也是多余的，爬虫将忽略所有图像。我的问题是:如果条件(在我的例子中是日期)为真，您是否知道一种以编程方式强制爬虫不为图像编制索引的方法？还是我阻止爬虫将整个页面编入索引的唯一可能？
是否有一种万无一失的方法来限制您的内容被主要搜索引擎编入索引？谢谢普拉迪 最佳答案 一种可能的方式是Robots.txt文件。User-Agent:*Disallow:/Here是一篇讨论其他技术(包括元标记)的博文。 关于seo-如何限制搜索引擎索引我的mediawiki站点？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/4141037/
我2天前刚刚更新了我的网站，现在它有了新的URL来访问不同的页面。然而，当你搜索我的网站时，谷歌仍然有我的旧页面作为结果。此页面现在转到404页面，并希望谷歌索引新页面。有没有办法帮助谷歌做到这一点？喜欢创建站点地图？但什么是站点地图？我在网站上有大约5个页面，所以如果它只是一个文件，您可以在其中写入页面的URL，那将是一项简单的任务。 最佳答案 是的，站点地图应该可以满足您的需求。这是一种列出您网站中所有页面的方式，以便Google了解其蜘蛛可能找不到的页面。您可以在此处找到有关它的详细信息，包括指向有关创建站点地图的说明的链接:
我们有一个多语言应用程序，它可以使用GET参数来区分不同的语言版本以及客户端的浏览器语言。如果语言不受支持或未知，我们将使用英语作为后备。目前支持的语言是英语和德语，顺便说一下。因此，使用浏览器语言“en”(任何其他如“es”、“zh”等-除了“de”-将产生所描述的英语)的访问者将获得针对不同url的以下语言版本:mydomain.com-->英文版mydomain.com?language=en-->英文版mydomain.com?language=de-->德文版到目前为止，这是可行的，但这是我们在Google索引中遇到的问题:当我们从德国或使用google.de搜索网站时，一个
关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭9年前。Improvethisquestion我一直在读Googlesarticle关于爬行Ajax站点。我有一个工作方式有点像Pinterest的应用程序，这意味着有一个无休止滚动的首页。所有数据均通过Ajax加载。当您访问网站时，例如www.mydomain.com它通过JavaScript将以下内容添加到urlwww.mydomain.com#!page=1。然后我可以回复_escaped_fragment_=page=1。我的问题是
我有一个用CodeIgniter构建的网站，我正在尝试使用Google的网站管理员工具，它告诉我设置一个robots.txt文件。我希望谷歌索引整个网站，但不一定是组成该网站的文件。所以我不想很好地查看/system/文件或/application/config/文件，但我确实希望每个页面都被索引。我应该列出Google不索引的每个文件，还是告诉它全部索引或告诉它什么都不索引？谢谢! 最佳答案 Google只会看到您网站提供的页面/URL。因此，您不会阻止文件，而是阻止页面。因此，您的robots.txt应该包含您不想编入索引的网址
关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭9年前。Improvethisquestion假设我有一个网页:www.test.com/action在那个url上有一个HTML自动重定向的页面，因此它将重定向到另一个页面:action.blabla.com。我希望谷歌只索引重定向页面，并阻止索引重定向到的页面。我怎样才能做到这一点？
关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭9年前。Improvethisquestion有许多javascript框架，如Angular、FlightJS或Ember，都使用模型-View-Controller方法。这通常会搞砸SEO，因为搜索引擎很难读取javascript模型数据。使用Node和PhantomJs等你可以制作可读的“屏幕截图”，但我认为这是一个非常丑陋的解决方法。我的问题:在网页中，有没有其他方法可以让模型被搜索引擎索引而不需要维护一堆重复的快照？
假设我有Angular2应用程序，使用RouterLink进行路由，Google可以将其读取为后续链接并编制索引吗？换句话说:googlebot能否正常将routerlinks识别为链接？ 最佳答案 这是AngularUniversal中的参数:OptimizedforSearchEngines:AlthoughGooglebotcrawlsandrendersmostdynamicsites,manysearchenginesexpectplainHTML所以对于谷歌不需要但对于其他爬虫你可能需要..AngularUniveral
我有SHTML文件，我想实现以下内容:第1步:假设我有一个SHTML页面，默认情况下/在中显示“您必须打开Javascript才能查看此内容”标签。下一步的具体实现并不重要。第2步:然后在页面加载时，JS请求PHP脚本返回:1/0(纯文本)，根据结果，JS打印预期内容或验证码表单。或者预期的内容或验证码形式，JS将其打印出来。要从中得出的主要结论是内容是由JavaScript打印的。Google是否仍会像以前一样为页面(包括内容)编制索引？我需要再添加代码/指令吗？谷歌会经常索引等等吗？注意:内容将始终为Google打印。(无验证码) 最佳答案
